Konrad Ernst von Goßler sinh ngày 28 tháng 12 năm 1848, trong một gia đình quý tộc có lẽ là khởi nguồn từ làng Gosel ở Egerland, và đã đến lập nghiệp tại Gürth (nay là một địa danh thuộc Bad Brambach ở Vogtland) từ trước năm 1630. Thân phụ của ông là Thủ tướng Vương quốc Phổ Karl Gustav von Goßler (1810 – 1885), Kronsyndikus (Tư vấn luật pháp của Vương triều) và Chủ tịch Tòa án Tối cao Địa phương Königsberg, với bà Sophie von Mühler (1816 – 1877), con gái của Bộ trưởng Luật pháp và Quốc vụ khanh Vương quốc Phổ Heinrich Gottlob von Mühler (1780 – 1857). Cặp đôi này có bốn người con: Quốc vụ khanh Vương quốc Phổ và Chủ tịch Tối cao (Oberpräsident) tỉnh Tây Phổ Gustav (1838 – 1902), Quốc vụ khanh và Bộ trưởng Chiến tranh Phổ – Thượng tướng bộ binh Heinrich (1841 – 1927), Thượng tướng bộ binh Konrad (1848 – 1933) và Trung tướng Wilhelm von Goßler (1850 – 1928).

Vào ngày 7 tháng 8 năm 1878, ở Berlin, Goßler thành hôn với Klara Klaatsch (18 tháng 6 năm 1857 tại Berlin – 29 tháng 6 năm 1931 tại Eisenach), con gái của Geheimen Sanitätsrats (danh hiệu dành cho một dược sĩ xuất sắc) của Phổ, August Klaatsch (chắt của y sĩ và công dân danh dự thành phố Berlin, Bác sĩ Ernst-Ludwig Heim), với bà Julie Schwendler. Cuộc hôn nhân này đã mang lại cho họ 4 người con.